Rac'd 



Europaisches 
Patentamt 



0 1 OCT 2004 

European 
Patent Office 



PCT7EP03/ 0 87 9 4 
1 951 03 11 



Office europgen 
des brevets 




Besc he i n ig u ng Certificate 



Attestation 



Die angehefteten Unterla- 
gen stimmen mit der 
ursprdnglich eingereichten 
Fassung der auf dem nSch- 
sten Blatt bezeichneten 
europSischen Patentanmel- 
dung Qberein. 



The attached documents 
are exact copies of the 
European patent application 
described on the following 
page, as originally filed. 



Les documents fixes a 
cette attestation sont 
conformes a la version 
initialement d6posee de 
la demande de brevet 
europeen sp€cifi€e a la 
page suivante. 



Patentanmeldung Nr. Patent application No. Demande de brevet n° 

02027848.7 



PRIORITY 



OR(b) 



Der President des Europalschen Patentamts; 
im Auftrag 

For the President of the European Patent Office 

Le President de ('Office europeen des brevets 
p.o. 



RCvanDIJk 



EPA/EPO/OEB Form 1014.1 • 02.2000 7001014 



4 




EuropSlsches 
Patentamt 



Europe] 
Patent! 




Office europ6en 
des brevets 



Anmeldung Nr: 

Application no.: 02027848.7 
Demande no: 



Anmel de tag: 

Date of f 11 1 ng: 12 . 12 . 02 
Date de d£p6t: 



Anmel der/AppI 1 can t( s)/Demandeur( s) : 

SIEMENS AKTIENGESELLSCHAFT 
Wittelsbacherplatz 2 
80333 Munchen 
ALLEMAGNE 



Bezel chnung der Erf 1 ndung/Tl tl e of the 1nvent1on/T1 tre de I 1 Invention: 
(Falls die Bezelchnung der Erflndung nlcht angegeben 1st, slehe Beschrelbung. 
If no title Is shown please refer to the description. 
S1 aucun tltre n'est 1nd1qu£ se referer & la description.) 

Verfahren zur Ereignissynchronisation, insbesondere fur Prozessoren 
fehlertoleranter Systeme 

In Anspruch genommene Priori at( en) / Prlorlty(les) claimed /Pr1or1t6(s) 
revendl quee( s) 

Staat/Tag/Aktenzelchen/State/Date/Flle no. /Pay s/Date/N timer o de depdt: 
EP/12.09.02/EP 02020602 

Internationale Paten tklasslf 1kat1 on/International Patent Classification/ 
Classification Internationale des brevets: 



An Anmel detag benannte Vertragstaa ten/Contracting states designated at date of 
flllng/Etats contractants d£s1gn€es lors du depot: 



AT BE BG CH CY CZ DE DK EE ES FI FR GB 6R IE IT LI LU MC NL PT SE SI SK 



H04L/ 



02027848.7 
EPA/EP0/0EB Form 1014.2 - 01.2000 



7001014 



2 



200220142 

EPO -Munich 
46 

1 

Beschreibung 

Verfahren zur Ereignissynchronisation, insbesondere fur Pro- 
zessoren fehlertoleranter Systeme 



In Telekommunikationssystemen, in Data-Centern und anderen 
hochverfiigbaren Systemen werden invielen Fallen bis zu eini- 
gen Hundert sogenannter Prozessorboards eingesetzt, urn die 
erforderliche Rechenlei stung vorzusehen. Ein solches Prozes- 
sorboard besteht typischerweise aus einem Prozessor bzw. ei- 
ner CPU (Central Processing Unit), einem Chip "Set, Hauptspei- 
cher und Peripheriebausteinen. 

Die Wahrscheinlichkeit des Auftretens eines Hardware -Def ektes 
eines typischen Prozessorboards pro Jahr liegt im einstelli- 
gen Prozentbereich. Aufgrund der groSen Anzahl zu einem Sys- 
tem zusammengef aSter Prozessorboards ergibt sich eine auf den 
Jahreszeitraum bezogene sehr hohe Wahrscheinlichkeit eines 
Ausfalls einer beliebigen Hardware -Komponente, wobei ein sol- 
cher Einzelausfall, falls geeignete Vorkehrungen nicht ge- 
troffen werden, den Ausfall des gesamten Systems hervorrufen 
kann. 



Insbesondere an Telekommunikationssysteme, in zunehmendem Ma- 
JSe auch an Data-Center, wird die Forderuhg nach einer hohen 
Systemverfugbarkeit gestellt. Diese wird beispielsweise in 
Prozent ausgedruckt, oder es wird die maximal zulassige Aus- 
fallzeit pro Jahr angegeben. Typische Anf orderungen sind z.B. 
eine Verf ugbarkeit von >99.999% bzw. eine Nichtverf Qgbarkeit 
von hochstens einigen Minuten im Jahr. Da ublicherweise der 
Austausch eines Prozessorboards und die Wiederherstellung des 
Dienstes im Falle eines Hardwaredef ektes eine Zeit bean- 
sprucht, die im Bereich einige 10 Minuten bis einige Stunden 
liegt, mussen fur den Fall eines Hardwaredef ektes auf System- 
ebene entsprechende Vorkehrungen getrof fen werden, um die 
Forderung nach der Systemverfugbarkeit erfullen zu konnen. 
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Bekannte Losungen zur Einhaltung solch hoher Anforderungen an 

ai^Sy^ emverf ugSa^I^'i ~" 

vor. Die bekannten Verfahren lassen sich in zwei hauptsachli- 
che Gruppen einteilen: sof twarebasierte Verfahren und hard- 
5 warebasierte Verfahren. 

Bei softwarebasierten Verfahren wird typischerweise eine 
Middleware eingesetzt. Die sof twarebasierte Losung erweist 
sich jedoch als wenig flexibel, da lediglich diejenige (Ap- 

10 plikations-) Software in einem solchen System eingesetzt wer- 
den kann, die fur dieses besondere Redundanzschema entwickelt 
wurde. Dies schrankt das Spektrum einsetzbarer (Applikations- 
) Software erheblich ein. Daruber hinaus ist die Entwicklung 
von Applikationssof tware fur Sof twareredundanzprinzipien in 

15 der Praxis auSerst aufwendig, wobei die Entwicklung zusatz- 
lich ein kompliziertes Testverf ahren nach sich zieht. 

Das Grundprinzip hardwarebasierter Verfahren beruht darauf , 
die Redundanz auf Hardwareebene zu kapseln, so daS dies fur 
20 die Software transparent ist, Der wesentliche Vorteil einer 
von der Hardware selbst verwalteten Redundanz ist der, dafi 
die Applikationssof tware durch das Redundanzprinzip nicht be- 
eintrachtigt wird und somit in den meisten Fallen jede belie- 
bige Software zum Einsatz kommen kann. 

25 

Ein in der Praxis haufig anzutref f endes Prinzip fur hardware- 
fehlertolerante Systeme, deren Redundanz fur die Software 
transparent ist, ist das sogenannte Lockstep-Prinzip. 
Lockstep bedeutet, dafi identisch aufgebaute Hardware, z.B. 

3 0 zwei Boards, gleichartig taktsynchron betrieben werden. Durch 
. Hardwaremechanismen wird sichergestellt , daS die redundante 
Hardware zu einem gegebenen Zeitpunkt identische Eingangssti- 
muli erfahrt und dadufch zu identischen Ergebnissen kommen 
mufi. Die Ergebnisse der redundanten Komponenten werden ver- 

35 glichen, im Fall einer Abweichung wird ein Fehler festge- 

stellt und geeignete MaSnahmen werden eingeleitet (Alarmie- 
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rung an das Bedienpersonal , partielle Oder vollstandige Si- 
cherheitsabschaltung, Systemneustart ) . 

Die grundlegende Voraussetzung fur die Implement ierung eines 
Lockstep-Systems ist das taktweise deterministische Verhalten 
aller im Board enthaltenen Komponenten, also CPUs, Chip Sets, 
Hauptspeicher etc. Taktweise deterministisches Verhalten be- 
deutet dabei, daS diese Komponenten im fehlerfreien Fall i- 
dentische Ergebnisse zu identischen Takt-Zeitpunkten liefern, 
wenn die Komponenten identische Stimuli zu identischen Takt- 
Zeitpunkten erhalten. Taktweise deterministisches Verhalten 
setzt ferner die Verwendung taktsynchroner Schnittstellen 
voraus. Asynchrone Schnittstellen bewirken im System in vie- 
len Fallen eine gewisse zeitliche Unscharfe, wodurch das 
taktsynchrone Gesamtverhalten des Systems nicht aufrecht er- 
halten werden kann. 

Gerade fur Chip Sets und CPUs bieten asynchrone Schnittstel- 
len jedoch technologische Vorteile bei der Erhohung der Leis- 
tungsfahigkeit, wodurch eine taktsynchrone Betriebsweise nach 
dem Lockstep-Verf ahren unmdglich wird. Zudem verwenden moder- 
ne CPUs zunehmend Mechanismen, die eine taktsynchrone Be- 
triebsweise unmoglich machen. Dies sind beispielsweise inter- 
ne, nach auSen nicht sichtbare KorrekturmaSnahmen, z.B. Kor- 
rektur eines internen, korrigierbaren Fehlers beim Zugriff 
auf den Cache -Speicher, die zu einer geringfugigen Verzoge- 
rung der Bef ehlsabarbeitung fuhren konnen, oder die spekula- 
tive Ausfuhrung von Befehlen. Ein wei teres Beispiel ist die 
zukunftig zunehmende Implementierung von CPU-internen takt- 
freien Ausfuhrtingseinheiten, die erhebliche Vorteile hin- 
sichtlich Geschwindigkeit und Verlustleistung ermoglichen, 
jedoch ein taktsynchrones bzw. deterministisches Arbeiten der 
CPU verhindern. 

Die europSische Patent anmeldung 02020602 offenbart ein Ver- 
f ahren zur Synchronisation externer Ereignisse, die einer CPU 
zugefuhrt werden und diese beeinf lussen, demgemafi die exter- 



200220142 



4 



10 



15 



20 



25 



30 



nen Ereignisse zwischengespeichert werden, wobei die gespei- 
-chert-en— extrernen—Ereigni^se^ — 
dus der CPU zur Verarbeitung durch eine Ausfiihrungseinheit 
abgerufen werden und wobei die CPU in diesen Betriebsmodus 
ansprechend auf die Erfiillung einer durch Befehle vorgebbaren 
oder fest vorgegebenen Bedingung eintritt. Dieses Verfahren 
wird auch "emulierter Lockstep Betrieb" genannt. 

Vorteilhaft sieht die EP 02020602 vor, dalS der Wechsel in den 
gesonderten Betriebsmodus ausgefuhrt wird^ falls durch ein 
Kqmparatorelement der CPU die Ubereinstimmung eines Zahlers 
mit einem Maximum Instruction Register (MIR) ermittelt wird, 
wobei der Inhalt des MIR durch Befehle vorgebbar ist und der 
Zahler die Anzahl der durch die Ausf uhrungseinheit ausgefiihr- 
ten Instruktionen seit dem letzten Wechsel in den gesonderten 
Betriebsmodus enthalt. 

Moderne CPUs lassen sich jedoch nicht so stoppen, daS sie 
nach einer exakten Anzahl von Instruktionen anhalten. Dies 
liegt darin begrundet, daS mehrere Instruktionen parallel ab- 
gearbeitet werden konnen, die zu einem gemeinsamen Zeitpunkt 
abgeschlossen werden. So konnen bei spiel sweise in einem Takt 
99 Instruktionen auf alien redundanten CPUs abgearbeitet 
sein, im nachsten Takt sind es beispielsweise aufgrund unter- 
schiedlicher Ausfiihrung dann auf einer CPU 100 Instruktionen, 
auf einer anderen jedoch 101 Instruktionen. Ein externes Er- 
eignis, z.B. ein Interrupt, kahn so nicht an identischen 
Stellen in der Bef ehlsausfiihrung prasentiert werden. 

Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren 
anzugeben, mit dem externe Ereignisse auch dann an gleichen 
Stellen in der Bef ehlsausfuhrung redundanter CPUs prasentiert 
werden, wenn das Anhalten der redundanten CPUs nach Ausfiih- 
rung ein und derselben Instruktion nicht gesichert moglich 
ist. 
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Diese Aufgabe wird durch ein Verfahren zur Synchronisation 
externer Ereignisse gemaS der Merkmale des Patentanspruchs 1, 
durch einen Prozessor gemafi der Merkmale des Patentanspruchs 

6 und durch ein System gemaS der Merkmale des Patentanspruchs 

7 gelost, Vorteilhafte Weiterbildungen sind in den abhangigen 
Anspriichen angegeben. 

Erf indungsgemaS wird ein Verfahren zur Synchronisation exter- 
ner Ereignisse, die einem Baustein CPU zugefuhrt werden und 
diesen beeinf lussen, wobei der Baustein CPU zur parallelen 
Abarbeitung von einer erst en Anzahl von Instruktionen vorge- 
sehen ist, vorgesehen, 

- demgemaS die externen Ereignisse . zwischengespeichert wer- 
den, wobei die gespeicherten externen Ereignisse in einem 
gesonderten Betriebsmodus des Bausteins zur Verarbeitung 
durch zumindest eine Ausftihrungseinheit EU des Bausteins 
abgerufen werden und 

- wobei der Baustein in diesen Betriebsmodus nach Abarbei- 

tung einer vorgebbaren zweiten Anzahl MIC von Instruktio- 
nen eintritt, indem 

- ein Zahler (IC) die Anzahl der durch die Ausfiihrungsein- 
heit ausgefuhrten Instruktionen seit dem letzten Verlas- 
sen des gesonderten Betriebsmodus ermittelt, 

- der Baustein in einen Einzelbef ehlsausfuhrungsmodus ver- 
setzt wird, falls der Zahler IG groSer oder gleich der 
Differenz aus der zweiten Anzahl von Instruktionen und 
einer dritten Anzahl MD von Instruktionen, die aus der 
ersten Anzahl von Instruktionen ermittelt wird, ist, 

- der Baustein im Einzelbef ehlsausfuhrungsmodus verbleibt, 
bis der Zahler IC die zweite Anzahl MIC von Instruktionen 
erreicht, woraufhin der Baustein in den gesonderten Be- 
triebsmodus wechselt und bei Verlassen des gesonderten 
Betriebsmodus der Zahler IC neu initialisiert wird. 

Die genannte dritte Anzahl von Instruktionen ist dabei an der 
maximalen Anzahl der parallel ausgefuhrten Instruktionen ori- 
entiert und dient dem Ausgleich der erlauterten Unscharfe 



200220142 




6 

beim Anhalten von CPUs mit der Fahigkeit zur parallelen Abar- 

bet' tung vori ~rrnstrokt^ 

se als gleich oder groSer der ersten Anzahl maximal parallel 
ausgefiihrter Instruktionen gewahlt. 

5 

In redundanten Systemen, die zumindest zwei Bausteine CPU 
aufweisen, wird eine identische Folge von Instruktionen fur 
die Bausteine CPU vorgesehen, und durch die Bausteine werden 
im gesonderten Betriebsmodus identische exteme Ereignisse 
10 abgerufen. Ein schnellerer Baustein CPU wird durch eine Steu- 
erung im gesonderten Betriebsmodus belassen, bis ein langsa- 
merer Baustein das Ende des gesonderten Betriebsmodus er- 
reicht hat - 

15 Das erfindungsgemage Verfahren kann durch eine Software, 

durch Microcode oder durch spezialisierte Hardware realisiert 
werden- Bei einer Uberwachung des Zahlers IC durch ein Uber- 
wachungssoftwaremodul wird die Anzahl der durch das Uberwa- 
chungssof twaremodul verursachten ausgefuhrten Instruktionen 

20 gesondert erfaSt und vom Zahler IC subtrahiert. 

Die Erfindung sieht femer einen Prozessorbaustein CPU vor, 
der zumindest folgendes aufweist: 

- mindestens eine Ausf uhrungseinheit EU f 

25 - mindestens ein Zahlerelement IC zum Zahlen der durch die 
Ausfuhrungseinheit ausgefuhrten Instruktionen seit dem 
letzten Wechsel in einen gesonderten Betriebsmodus, 

- mindestens ein Registerelement MIR, dessen Inhalt MIC 
durch Befehle vorgebbar oder fest vorgegeben ist, 

30 - mindestens ein Komparatorelement K und mindestens ein 

Steuerelement S zum -Umschalten der Ausf uhrungseinheit EU 
in einen Einzelbef ehlsausfuhrungsmodus ansprechend auf 
das Erreichen eines vorgebbareri* Wertes, der kleiner als 
der Wert des Registerelementes MIR ist, durch das Zahl- 

35 element IC, und zum Umschalten der Ausfuhrungseinheit in 

den gesonderten Betriebsmodus ansprechend auf die ftber- 
einstimmung des Zahlelementes IC mit dem Registerelement 
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MIR, wobei in dem gesonderten Betriebsmodus zwischenge- 
speicherte, dem Prozessorbaustein CPU zuzufuhrende exter- 
ne Ereignisse, die den Prozessorbaustein CPU beeinflus- 
sen, durch den Prozessorbaustein CPU abgerufen werden. 

Mehrere dieser Prozessoren konnen vorteilhaft zu einem System 
zusammengefaSt werden, wobei das System zusatzlich eine Ver- 
bindung L0, LI zwischen zumindest zwei der Prozessorbausteine 
CPU, die eine identische Instruktionsf olge ausfuhren, auf- 
weist, wobei die Verbindung zum Ubertragen von Synchronisati- 
onsinformationen der gesonderten Betriebsmodi vorgesehen ist. 

Ein wesentlicher Vorteil der Erfindung ist darin zu sehen, 
daJS die Verwendung beliebiger neuer oder bestehender Software 
auf einer hardwaref ehlertoleranten Piatt form ermoglicht wird, 
wobei in dieser Plattform eine die .Erf indung unterstutzende 
CPU zum Einsatz kornmen kann, ohne daS die Forderung nach 
taktsynchroner, deterministischer Arbeitsweise der CPU be- 
steht und wobei die Verwendung asynchroner Hochgeschwindig- 
keitsschnittstellen bzw. Links moglich ist. Dabei tragt die 
Erfindung dem Umstand Rechnung, daS sich moderne CPUs mit Fa- 
higkeiten zur parallelen Abarbeitung von Instruktionen nicht 
in jedem Fall nach einer exakten Anzahl von Instruktionen an- 
halten lassen. 

Weitere Vorteile sind: 

- Die zueinander redundanten Boards und CPUs mussen nicht 
phasenstarr gekoppelt betrieben werden, 

- Die CPUs mussen nicht identisch sein, sie mussen ledig- 

lich nach der gleichen Anzahl abgearbeiteter Maschinenin- 
struktionen anhalten und den Betriebsmodus wechseln. 

- Die CPUs konnen mit unterschiedlichen Taktf requenzen be- 

trieben werden. 

- Die CPUs k&nnen sich unterschie<31ich in Bezug auf die 

spekulative Ausfuhrung von Instruktionen verhalten, da 
nur die komplettierten Instruktionen bewertet werden. 
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- Unterschiedliche CPU- interne Ausf uhrungszeiten identi- 

sehe-r— GPUs-y — z-j-B-*— aufg-rund— von-Korrek-tu-ren- nach— dem-da-ten~ 

verfalschendem Auftreten von Alpha-Teilchen, fuhren le- 
diglich dazu, dafi der Synchronisationsmodus zu geringfii- 
5 gig unterschiedlichen Zeitpunkten erreicht wird. 

Im folgenden wird ein Ausfuhrungsbeispiel der Erfindung im 
Zusammenhang mit drei Figuren naher erlautert ■ 

10 Figu,r 1 zeigt ein Ablauf schema des. erf indungsgemafien Verfah- 
. rens. . 

Figur 2 zeigt schematisch einen erf indungsgemaSen Prozessor- 
baustein. 

Figur 3 zeigt schematisch ein erf indungsgemafies System beste- 
15 hend aus zwei Prozessorbausteinen gemaE Figur 2 . 

In Figur 1 ist das erf indungsgemaSe Verfahren als Ablaufsche- 
ma graphisch dargestellt . Vor Beginn des Ablauf s mussen fol- 
gende Werte festgelegt bzw. initialisiert sein: 
20 - Ein Zahler IC (Instruction Counter) , der die Anzahl der 
durch die CPU abgearbeiteten Instruktionen bzw. Maschi- 
nenbefehle enthalt* 
_ Eine Anzahl MIC (Maximum Instruction Counter) von In- 
struktionen, nach welcher die CPU in den besonderen Be- 
25 triebsmodus zur Abarbeitung von externen Ere ignis sen 

wechseln soil. 

, Eine Anzahl MD (Maximum Deviation) von Instruktionen, die 
die maximal aufgrund von Parallelitat der Bef ehlsausf uh- 
rung auftretende Unscharfe des Anhaltens der CPU beriick- 
30 sichtigt. 

Der Ablauf beginnt . damit , daS der aktuelle Wert des Befehls- 
zahlers IC mit der Differenz aus den Wert en MIC und MD ver- 
glichen wird (Block 11) . Ist der Wert des Bef ehlszahlers ge- 
35 ringer als diese Differenz, wird die Bef ehlsabarbeitung im 

normalen Betriebsmodus f ortgesetzt ; • die parallele Ausfuhrung 
von Instruktionen ist moglich. 
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Erreicht oder uberschreitet der Wert des Bef ehlszahlers die 
Differenz aus MIC und MD, wird ein Register d mit der Diffe- 
renz aus MIC und MD geladen (Block 12) , und der Ablauf tritt 
in eine Schleife ein, an deren Beginn eine Abfrage steht, ob 
das Register d den Wert MIC erreicht hat (Block 13). In die- 
ser Schleife erfolgt die Bef ehlsabarbeitung im Einzelschritt- 
modus bzw. Single Step Mode. 

Solange der Wert d den Wert MIC nicht erreicht, wird in jedem 
Schleifendurchlauf eine einzelne Inst rukt ion ausgefuhrt 
(Block 14) und der Wert d inkrementiert (Block 15) , bevor die 
Schleifenbedingung (Block 13) erneut gepruft wird. Durch die- 
ses Vorgehen wird sichergestellt , dafi trotz im Normalbetrieb 
paralleler Bef ehlsabarbeitung das Eintreten in den gesonder- 
ten Betriebszustand exakt nach MIC Instruktionen erfolgt. 

Falls der Wert d den Wert MIC erreicht (Block 13) , tritt der 
Ablauf in den gesonderten Betriebsmodus ein. Der gesonderte 
Betriebsmodus uberpriift zunachst, ob wahrend der Abarbeitung 
der MIC Befehle eine Interruptanf orderung eingetroffen ist 
und zur gleichzeitigen Abarbeitung durch alle redundanten 
CPUs zwischengespeichert wurde (Blocke 16/17) . Sind Interrup- 
tanf orderungen eingetroffen, werden diese abgearbeitet (Block 
18), wobei diese Abarbeitung durch. alle redundanten CPUs an 
identischer Stelle in der Progranunabarbeitung erfolgt und al- 
le Register, Speicherinhalte, identisch sind. Dieser 
Schritt wird libersprungen, falls keine Interruptanforderungen 
vorliegen. 

Der gesonderte Betriebsmodus wird beendet, und der normale 
Betriebsmodus mit paralleler Verarbeitung von Instruktionen 
wird nach dem Rucksetzen des Bef ehlszahlers IC (Block 19) 
wieder aufgenommen. Eine Interruptanf orderung kann dann bear- 
beitet werden. Der Abarbeitung der Interrupt routine erfolgt 
nicht im gesonderten Betriebsmodus, sondern im normalen Mo- 
dus. Lediglich das Einlesen des Interruptvektors erfolgt im 
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besonderen Betriebsmodus , danach wird der besondere Mode wie- 

ler~~wrl~asB^^^ 

z.B. davon ab, ob zu diesem Zeitpunkt gerade Interrupts er- 
laubt sind. Interrupts sind nicht erlaubt, wenn gerade ein 
5 Interrupt bearbeitet wird und/oder ein "Interrupt Flag" ge- 
loscht ist. 

Anhand des dargestellten Ablaufs kann das erf indungsgemaSe 
Verfahren direkt als Instruktionsf orge, d.h. als Software, 

10 implement iert werden. Dabei sorgt die Software dafur, dalS ein 
Interrupt an identischen Stellen der Bef ehlsausfuhrung mehre- 
rer Prozessoren prasentiert wird, indera ein Inst rukt ions zah- 
ler in der CPU so programmiert wird, daS er eine Exception, 
z.B. Debug-Exception, oder einen hochprioren, nicht sperrba- 

15 ren Interrupt, z.B. den nichtmaskierbaren interrupt NMI, nach 
der gewunschten Zahl MIC von abzuarbeitenden Instruktionen 
abzuglich der "Anhalteunscharf e" MD verursacht. Beispielswei- 
se wird der Zahler IC bei einer Unscharfe von MD=3 Instrukti- 
onen und einer gewiinschten Zahl von MIC=1000 Instruktionen 

20 mit 1000-3+1=998 programmiert. Die CPU wird, in Abhangigkeit 
der internen Bundelung von Instruktionen, also nach IC=998 
oder IC=999 oder IC=1000 Instruktionen anhalten. Die darauf- 
hin ausgefiihrte Software liest den Instruktionszahler aus, urn 
festzustellen, an welcher Stelle der Prozessor tatsachlich 

25 angehalten hat. Dabei ist diese Software so beschaffen, daS 
die Ausfuhrung der eigenen Instruktionen entsprechend korri- 
giert wird. Falls die Software feststellt, daS die CPU nach 
beispielsweise 999 Instruktionen angehalten hat, wird die ge- 
wunschte lOOOste Instruktion per Single-Step Betrieb, gesteu- 

30 ert durch die Except ion- Software, nachtraglich ausgefuhrt. 
Dies geschieht bei alien redundanten CPUs, so daS alle CPUs 
anschlieSend an der identischen Stelle im Code angehalten 
wurden. 



35 An dieser Stelle muS der/den CPU/ CPUs eine eventuell vorhan- 
dene Interruptanf orderung prasentiert werden. Hierzu gibt es 
beispielsweise folgende Moglichkeiten: 
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- Die CPU kann ein Register des interrupt -Controllers aus- 
lesen, woraufhin dieser ein maskiertes Interrupt signal 
freigibt. Die CPU erkennt anhand dieses Interruptsignals 
eine Interruptanf orderung und sendet einen Interrupt 
Acknowledge Zyklus zum Interrupt-Controller . Der inter- 
rupt-Controller liefert daraufhin den Interruptvektor und 
raaskiert das Interruptsignal wieder. 

- Alternativ kann die Software ein Register lesen, dessen 
Wert bereits die Information uber die Art des Interrupts 
liefert, d.h. den Interruptvektor. Anschliefiend lost die 
Software selbst den entsprechenden Interrupt (per Soft- 
ware) aus, falls Interrupts zu diesem Zeitpunkt in der 
Bef ehlsabarbeitung erlaubt sind. 

Ferner kann der Ablauf auch in Form von Microcode -Anweisungen 
realisiert werden. Moderne CPUs weisen in vielen Fallen weit- 
gehende Moglichkeiten auf , mittels Microcode die Bef ehlsaus- 
fuhrung zu steuern. Diese Moglichkeiten werden haufig bei- 
spielsweise dazu verwendet, Design-Fehler zu beheben bzw* zu 
umgehen . 

Fur den Zweck des erf indungsgem&Sen Verfahrens wird der Mic- 
rocode so geandert, daS die CPU nach der gewiinschten Zahl von 
abzuarbeitenden Instruktionen MIC abziiglich der "Anhalteun- 
scharfe" MD die normale Bef ehlsaus fuhrung unterbricht und in 
den Microcode verzweigt . Der Microcode liest die Anzahl aus- 
gefuhrter Instruktionen IC aus und steuert die Ausfuhrung per 
Single-Step so an, dafi die Bef ehlsaus fiihrung an der gewiinsch- 
ten Stelle MIC angehalten wird. 

An dieser Stelle muS der/den CPU/CPUs wiederum eine eventuell 
vorhandene Interruptanf orderung prasentiert werden. Hierzu 
gibt es ebenfalls mehrere Moglichkeiten: 
- Ein per Microcode maskiertes Interruptsignal wird per 
Microcode freigegeben, und falls ein Interrupt anliegt, 
wird die CPU in die entsprechende Interruptroutine ver- 
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zweigen. AnschlieSend wird der Interrupt wieder per Mic- 
rocode mas Icier €Z 
- Alternativ kann die CPU veranlafit werden, einen Interrupt 
Acknowledge Zyklus zu generieren und einen Interruptvek- 
5 tor zu lesen. Dieser wird dann per Microcode der CPU so 

prasentiert, daJ5 diese nach dem- Verlassen des gesonderten 
Modus in die entsprechende Interruptroutine verzweigt . 

Ferner kann eine Implement ierung in der Codeubersetzungssof t- 
10 ware erfolgen. Einige CPUs verfugen uber einen einfachen, a- 
ber sehr schnellen, meist superskalaren RISC- oder VLIW- 
Prozessor Kern. Der eigentliche Befehlsatz, z-B. IA-32, wird 
durch eine Codeubersetzungssof tware in einen einfachen Code 
transformiert und vom RISC-/VLIW-Prozessor ausgefuhrt. In 
15 diesem Palle fiihrt die Code Ubersetzungssof tware die Aufgabe 
des Verfahrens aus, analog der Implement ierung in Microcode. 
Die Presentation der Interruptanf orderungen erfolgt wie bei 
der Microcode -Implement ierung. 

20 Die ef f izienteste Implementierung des erf indungsgemafien Ver- 
fahrens ist eine Hardware implementierung, dargestellt in Fi- 
gur 2 . Hierbei wird von einer prozessorinternen Hardwareein- 
heit S die parallele Bef ehlsausfuhrung an der gewiinschten 
Stelle abzuglich Unscharfe angehalten, der Instruktionszah- 

25 lerstand IC ermittelt, und die Ausfuhrungseinheit EU wird von 
der prozessorinternen Hardwareeinheit S mittels Single-Step 
bzw. Einzelschritt ES an die gewunschte Stelle im Code heran- 
. gefuhrt. Der wesentliche Vorteil dieses Verfahrens ist der 
erheblich reduzierte negative Performance -EinfluS. 

30 ■ - 

Figur 2 zeigt einen erf indungsgemafcen Prozessorbaustein CPU 
in einer schematischen Darstellung. Dabei sind nur die fur 
diese Erfindung relevanten Bestandteile dargestellt. Die CPU 
umfaSt eine oder mehrere Ausfiihrungseinheiten EU, mindestens 

35 einen Komparator K # mindestens einen Zahler IC zum Zahlen der 
durch die Ausfuhrungseinheit EU ausgefuhrten Instruktionen, 
eine Steuerung S und mindestens ein Register element MIR, des- 
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sen Inhalt durch Befehle vorgebbar - oder fest vorgegeben aein 
kann. Ferner sind Verbindungen von/zu einem Interruptregister 
(Figur 3) schematisch dargestellt. 

Die den Programmablauf beeinf lussenden externen Ereignisse 
werden der CPU nicht direkt zugefuhrt, sondern von einer ge- 
eignet gestalteten Hardware zunachst gepuffert. Die Umsetzung 
des Verfahrens kann in der in Figur" 2 dargestellten CPU er- 
folgen, indem das Register MIR mit der Differenz aus dem Wert 
MIC und dem Wert MD geladen wird. Der Komparator K vergleicht 
die Zahl der ausgefuhrten Operationen mit diesem Regis terwert 
und signalisiert das Ergebnis dieses Vergleichs an die Steue- 
rungseinheit S. Alternativ kann der Komparator auch nur ein 
Ereignis an die Steuerung ubermittein, das generiert wird, 
wenn der Wert des IC den Wert des MIR erreicht hat. 1st die- 
ses Ereignis eingetreten oder wurde Gleichheit der beiden Re- 
gister signalisiert, fragt die Steuerung S den Bef ehlszahler 
nochmals ab, um die Zahl der tatsachlich ausgefuhrten In- 
struktionen zu lesen. Da im MIR durch das Laden mit dem Wert 
MIC-MD die Unscharfe bereits berucksichtigt wurde, kann durch 
die Steuerung ein Einzelschrittmodus, signalisiert liber die 
Leitung ES an die Ausf uhrungseinheit , die Ausfuhrung von In- 
struktionen einzeln veranlassen, bis der Wert des Befehlszah- 
lers den vorgegebenen Wert MIC erreicht. Die Steuerung S ver- 
fiigt dazu uber die Moglichkeit, den Bef ehlszahler IC zu in- 
krementieren, sofern der Bef ehlszahler die im Single-Step 
ausgefuhrten Instruktionen nicht automatisch zahlt. 

Die Steuerung S jeder redundanten CPU erzeugt ein Inter- 
rupt freigabesignal IF, das einem Interruptbaustein zugefuhrt 
wird. Daraufhin wird alien redundanten CPUs eine gegebenen- 
falls zwiechengespeicherte Interruptanf orderung Ober die In- 
terruptleitung INT gemeldet . 

Alternativ dazu erzeugt die Steuerung S einen Interrupt fur 
die eigene CPU, woraufhin die Ausfuhrungseinheiten einen In- 
terrupt Acknowledge Zyklus zum Interruptbaustein senden. 
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falls Interrupts zu diesem Zeitpunkt in der Bef ehlsabarbei- 
1 ung-e riaub t— sd-nd- 

In einer weiteren Alternative wird durch die Steuerung S ein 
5 Interruptfreigabesignal IF erzeugt, welches dem Sinn nach mit 
dem Interruptsignal INT UND-verkniipf t wird, d.h. die Schal- 
tungslogik ist entsprechend zu wahlen, falls invert ierte Sig- 
nale vorliegen oder falls das Interruptsignal auf mehreren 
Leitungen prasentiert wird. Das Interruptfreigabesignal kann 
10 ebenfalls nach auSerhalb der CPU z.B. an das Interruptre- 

gister ubermittelt , werden. Eventuell an der Interrupt lei tung 
INT anliegende Interrupts werden somit freigegeben, und die 
gewohnliche Interruptbehandlung kann erfolgen, z.B. Lesen des 
Interruptvektors, Ausfuhren der Interruptroutine usw. 

15 

Vor der Interruptbehandlung wird die Aufhebung des Einzel- 
schrittmodus und des gesonderten Betriebsmodus und die Fort- 
setzung der Bef ehlsabarbeitung im Normalmodus an die Ausfuh- 
rungseinheit signalisiert , und der Bef ehlszahler wird uber 
20 ein Signal CL zuriickgesetzt . Die Steuerung kann direkt als 
Hardware! oder in Form von Microcode realisiert sein. 

In Figur 3 wird schlieKlich eine Zusanimenschaltung zweier 
CPUs gemaS vorstehender Beschreibung im Zusanvmenhang mit Fi- 

25 gur 2 gezeigt. Dabei sind der erste Prozessor CPU0 und der 
zweite Prozessor CPU1 ohne die Details aus Figur 2 darge- 
stellt. Die Prozessoren tauschen jeweils Adressen und Daten 
uber einen Bus A/D mit zugeordneten Interruptbausteinen, die 
u.a. Interruptregister IR0, IR1 umfassen, aus. Die Interrupt - 

30 bausteine empfangen Interrupts INTl..INTn beispielsweise von 
Eingabe/Ausgabebausteinen I/O, speichern entsprechende Kenn- 
daten und leiten die Interrupts INT an die Prozessoren wei- 
ter. 



35 



Erf indungsgemaS werden die Interrupts durch die Prozessoren 
nur an bestimmten Stellen der Bef ehlsausfiihrung akzeptiert. 
Dies ist ausfuhrlich im Zusammenhang mit Figur 2 beschrieben. 
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Das in diesem Zusammenhang erlauterte Interruptf reigabesignal 
kann aufierdem verwendet werden, um dem jedem Prozessor zuge- 
ordneten Interruptbaustein zu signalisieren, dafi die Inter- 
ruptbehandlung begonnen werden kann. Die Interruptbausteine, 
5 die liber Verbindungen L0, LI verbunden sind, konnen diese In- 
formationen austauschen und die Interruptbehandlung ihrer- 
seits erst dann z.B. durch Ubermitteln des Interruptvektors 
an die Prozessoren freigeben, wenn alle Prozessoren ein In- 
terrupt f re igabes ignal erzeugen . 

10 

In einer Alternative kann es sich ais vorteilhaft erweisen, 
die CPUs nicht an einer vordef inierte Stelle MIC der Be- 
fehlsausfiihrung anzuhalten, sondern an einer mit der Unschar- 
fe der parallel abarbeitbaren Befehle behafteten Stelle, und 

15 dann die zuriickliegenden Prozessoren per Single Step an die 
Stelle der Befehlsausfiihrung heranzufuhren, an der derjenige 
Prozessor angehalten hat, der in der Befehlsausfiihrung am 
weitesten f ortgeschritten ist. Hierzu ist eine Kommunikation 
zwischen den Prozessoren erf orderlich. Diese kann beispiels- 

20 weise so erfolgen, daS jeder Prozessor die Stelle, an der er 
selbst angehalten hat, in ein Hardware -Register schreibt und 
anschlieSend zuriickliest . Das Register wartet bis alle Pro- 
zessoren ihren Wert geschrieben haben und liefert als Leseda- 
tum den hochsten Wert zuriick. Falls erf orderlich, gleichen 

25 dann alle Prozessoren ihren Stand der Befehlsausfiihrung per 

Single- Step an. Die Interrupt anf orderung wird den Prozessoren 
dann wie oben beschrieben prasentiert. 

CPUs, die uber SMT (Simultaneous Multi Threading) Fahigkeiten 
3 0 verfiigen, miissen eine separate Steuerung fur jede virtuelle 
CPU bzw. jeden Thread verfugen. 

Ferner weist die CPU den Komparator Oder Vergleicher K auf , 
der die Anzahl der ausgefuhrten Befehle, also den Zahler IC, 
35 mit dem Register MIR vergleicht und'bei Gleichheit beispiels- 
weise eine Interrupt -Anf orderung generiert, der die Be- 
fehlsausfiihrung nach der Zahl der durch das Register MIR vor- 
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gegeben Instruktionen unterbricht und die CPU in einen arxde- 
ren Betriebsmodus scnaitetf: In diesem Betriebsmodus wird bei~ 
spielsweise geeigneter Microcode ausgef&hrt oder in eine In- 
terrupt Service Routine verzweigt oder per Hardware-Signalen 
5 das Erreichen dieses Synchronisationspunktes angezeigt. In 
diesem Betriebsmodus werden dann den' redundanten CPUs die ex- 
ternen Ereignisse so prasentiert, daS nach dem Verlassen die- 
ses Betriebsmodus alle CPUs diese Ereignisse gleich bewerten 
konnen und somit in der Folge die gleichen Befehle ausfuhren 
10 werden. r ' 

Beispielsweise verzweigt die CPU nach Erreichen der durch das 
Register MIR vorgegeben Anzahl von Maschineninstruktionen in 
eine Interrupt Service Routine, in welcher der Zustand von 
15 durch die beschriebene Hardware von der CPU f erngehaltenen 
Interrupt Signal en so abgefragt wird, daS eine redundant e 
CPU, die ggf • diese Abfrage zu einem geringftigig spateren 
Zeitpunkt stellt, die identische Auskunft erhalt. 

20 Beim Verlassen des gesonderten Betriebsmodus wird der Zahler 
IC zuruckgesetzt . AnschlieSend wird zu der Programmstelle zu- 
ruckgesprungen, an der die Unterbrechung durch das Erreichen 
des durch das Register MIR vorgegeben Zahlerwertes IC statt- 
gefunden hat- Danach wird die CPU wieder die durch das Regis- 

25 ter MIR vorgegebene Anzahl von Maschineninstruktionen ausfuh- 
ren und bei Erreichen des Registerwertes MIR durch Zahler IC 
den Mode wechseln und dadurch die Annahme von externen Ereig- 
nissen ermoglichen. 

30 Vorteilhaft sind die CPU- Register MIR so ausgebildet, daJS sie 
durch Software oder Microcode beschreibbar sind, urn zu ge- 
wahrleisten, daS fur verschiedene Einsatzgebiete eine Inter- 
ruptbehandlung in adaquaten Intervallen stattfindet, indem 
entsprechend die Anzahl der auszuf uhrenden Instruktionen zwi- 

3 5 schen den Zeitfenstern fur die Interruptbehandlung festgelegt 
wird. 
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1- Verfahren zur Synchronisation externer Ereignisse, die ei- 
nem Baustein (CPU) zugefuhrt werden und diesen beeinflus- 
sen, wobei der Baustein (CPU) zur parallelen Abarbeitung 
von einer ersten Anzahl von Instruktionen vorgesehen ist, 

- demgemaS die externen Ereigniss.e zwischengespei chert wer- 
den, wobei die gespeicherten externen Ereignisse in einem 
gesonderten Betriebsmodus des Bausteins zur Verarbeitung 
durch zumindest eine Ausfiihrungseinheit (EU) des Bau- 
steins abgerufen werden und 

- wobei der Baustein in diesen Betriebsmodus nach Abarbei- 
tung einer vorgebbaren zweiten _Anzahl (MIC) von Instruk- 
tionen eintritt, indem 

- ein Zahler (IC) die Anzahl der durch die Ausfuhrungsein- 
heit ausgefiihrten Instruktionen seit dem letzten Verlas- 
sen des gesonderten Betriebsmodus ermittelt, 

- der Baustein in einen Einzelbefehlsausfiihrungsmodus ver- 
setzt wird, falls der Zahler (IC) groJSer oder gleich der 
Dif ferenz aus der zweiten Anzahl von Instruktionen und 
einer dritten Anzahl (MD) von Instruktionen, die aus der 
ersten Anzahl von Instruktionen ermittelt wird, ist, 

- der Baustein im Einzelbefehlsausfiihrungsmodus verbleibt, 
bis der Zabler (IC) die zweite Anzahl (MIC) von Instruk- 
tionen erreicht, woraufhin der Baustein in den gesonder- 
ten Betriebsmodus wechselt und bei Verlassen des geson- 
derten Betriebsmodus der Zahler (IC) neu initialisiert 
wird. 

2 . Verfahren nach Anspruch 1 , 

dadurch gekennzeichnet, 

daS die dritte Anzahl von Instruktionen als gleich oder 
groiSer der ersten Anzahl maximal parallel ausgefuhrter 
Instruktionen gewahlt wird. 

3 . Verfahren nach einem der Anspriiche 1 oder 2 , 
dadurch gekennzeichnet, 
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dafi in redundanten Systemen, die zumindest zwei Bausteine 

(-GPU-)-^u#wei-sen^ei-ne— i-den — 

fur die Bausteine (CPU) vorgesehen ist und durch die Bau- 
steine im gesonderten Betriebsmodus identische externe 
Ereignisse abgerufen werden. 

4. Verfahren nach Anspruch 3, 

dadurch gekennzeichnet, 

dafi ein schnellerer Baustein (CPU) durch eine Steuerung 
im gesonderten Betriebsmodus belassen wird, bis ein lang- 
samerer Baustein das Ende des gesonderten Betriebsmodus 
erreicht hat. 

5. Verfahren nach einem der Anspruche 1 bis 4, 

dadurch gekennzeichnet, 

dafi bei einer Uberwachung des Zahlers (IC) durch ein 
Uberwachungssof twaremodul die Anzahl der durch das Uber- 
wachungssof twaremodul verursachten ausgefuhrten Instruk- 
tionen gesondert erfaSt und vom Zahler (IC) subtrahiert 
wird. 

6* Prozessorbaustein (CPU), der zumindest folgendes aufweist : 

- mindestens eine Ausfuhrungseinheit (EU) , 

- .mindestens ein Zahlerelement (IC) zum Zahlen der durch 

die Ausfuhrungseinheit ausgefuhrten Instruktionen seit 
dem letzten Wechsel in einen gesonderten Betriebsmodus, 

- mindestens ein Registereletnent (MIR) , dessen Inhalt (MIC) 
durch Befehle vorgebbar oder fest vorgegeben ist, 

- mindestens ein Komparatorelement (K) und mindestens ein 

Steuerelement (S) zum Umschalten der Ausfuhrungseinheit 
(EU) in einen Einzelbef ehlsausf iihrungsmodus ansprechend 
auf das Erreichen eines vorgebbaren Wertes, der kleiner 
als der Wert des Registerelementes (MIR) ist, durch das 
Z&hlelement (IC) , und zum Umschalten der Ausfuhrungsein- 
heit in den gesonderten Betriebsmodus ansprechend auf die 
Ubereinstimmung des Z&hlelementes (IC) mit dem Register- 
element (MIR) , wobei in dem gesonderten Betriebsmodus 
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zwischengespeicherte, dem Prozessorbaustein (CPU) zuzu- 
fiihrende externe Ereignisse, die den Prozessorbaustein 
(CPU) beeinflussen, durch den Prozessorbaustein (CPU) ab- 
gerufen werden. 

7. System bestehend aus raindestens zwei Prozessorbausteinen 
(CPUO, CPU1) , die jeweils zumindest folgendes aufweisen: 

- mindestens eine Ausfuhrungseinheit (EU) , 

- mindestens ein Zahlerelement (IC) zum Zahlen der durch 
die Ausfuhrungseinheit ausgefuhrten Instruktionen seit 
dem letzten Wechsel in den gesonderten Betriebsmodus, 

- mindestens ein Regis terelement (MIR) , dessen Inhalt durch 
Befehle vorgebbar oder fest vorgegeben ist, 

- mindestens ein Kompara tor element (K) und mindestens ein 
Steuerelement (S) zum Umschalten der Ausfuhrungseinheit 
(EU) in einen Einzelbef ehlsausfuhrungsmodus ansprechend 
auf das Erreichen eines vorgebbaren Wertes, der kleiner 
als der Wert des Regis terelementes (MIR) ist, durch das 
Zahlelement (IC) , und zum Umschalten der Ausfuhrungsein- 
heit (EU) in einen gesonderten Betriebsmodus ansprechend 
auf die Ubereinstimmung des Zahlelementes (IC) mit dem 
Registerelement (MIR) , wobei in dem gesonderten Betriebs- 
modus zwischengespeicherte, den Prozessorbausteinen zuzu- 
fuhrende externe Ereignisse, welche die Prozessorbaust ei- 
ne beeinflussen, durch die Prozessorbausteine abgerufen 
werden . 

8. System nach Anspruch 7, das zusatzlich eine Verbindung 
(LO, LI) zwischen zumindest zwei der Prozessorbausteine 
(CPU) , die eine identische Instruktionsfolge ausftihren, 
aufweist, wobei die Verbindung zum Ubertragen von Syn- 
chronisationsinformationen der gesonderten Betriebsmodi 
vorgesehen ist. 
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Verfahren zur Ereignissynchronisation, insbesondere fur Pro- 
zessoren fehlertoleranter Systeme 

Fur reciundante Systeme werden vielfach identisch aufgebaute 
Prozessorboards vorgesehen, die im Locks tep-Betrieb arbeiten. 
Die grundlegende Voraussetzung fur die Implementierung eines 
Lockstep Systems ist das deterministische Verhalten aller im 
Board enthaltenen Koraponenten, also CPUs, Chip Sets, Haupt- 
speicher etc. Deterministisches Verhalten bedeutet dabei, dafi 
diese Komponenten im fehlerfreien Fall identische Ergebnisse 
zu identischen Zeitpunkten liefern, wenn die Komponenten i- 
dentische Stimuli zu identischen Zeitpunkten erhalten. Deter- 
ministisches Verhalten setzt ferner die Verwendung taktsyn- 
chroner Schnittstellen voraus. Asynchrone Schnittstellen be- 
wirken im System in vielen Fallen eine gewisse zeitliche Un- 
scharfe, wodurch das taktsynchrone Gesamtverhalten des Sys- 
tems nicht aufrecht erhalten werden kann. Urn dennoch einen 
Lockstep-Betrieb durchfuhren zu k6nnen, sieht die vorliegende 
Erfindung ein Verfahren zur Synchronisation externer Ereig- 
nisse, die einem Prozessor (CPU) zugefuhrt werden und diesen 
beeinflussen, vor, demgemaS die externen Ereignisse zwischen- 
gespeichert werden, und den Prozessoren an identischer Stelle 
in der Bef ehlsausf uhrung prasentiert werden, wobei Probleme, 
die durch die Fahigkeit moderner Prozessoren, Befehle paral- 
lel abzuarbeiten, entstehen, vermieden werden, indem die Pa- 
rallel ausf uhrung der Prozessoren vor Erreichen der gewunsch- 
ten Stelle in der Bef ehlsabarbeitung unterbunden und an- 
schlieSend im Single-Step-Modus diese Stelle exakt erreicht 
wird. 



Figur 1 
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